草庐IT

hive 任务优化策略

全部标签

ruby-on-rails - 在 gem 的 rake 任务中需要 gem

我正在使用jeweler为Rails3创建一个gem。该gem包含一个rake任务,它所做的其中一件事是删除数据库,所以我正在使用“database_cleaner”。我在gem的Gemfile中指定gem依赖项gem'database_cleaner'在Rakefile中Jeweler::Tasks.newdo|gem|...gem.add_dependency'database_cleaner'end然后在lib中我创建了文件my_gem.rb和tasks.rake。如下,my_gem.rb:moduleMyGemclassRailtie和tasks.rake:task:my_ta

ruby-on-rails - 优化读取数据库和写入csv文件

我正在尝试从数据库中读取大量单元格(超过100.000个)并将它们写入VPSUbuntu服务器上的csv文件。碰巧服务器没有足够的内存。我正在考虑一次读取5000行并将它们写入文件,然后再读取5000行,等等。我应该如何重构我当前的代码以使内存不会被完全消耗?这是我的代码:defwrite_rows(emails)File.open(file_path,"w+")do|f|f该函数由sidekiqworker调用:write_rows(user.emails)感谢您的帮助! 最佳答案 这里的问题是,当您调用emails.each时,

ruby-on-rails - 在调用 Rake 任务时设置多个环境变量

我可以像这样调用一个Rake任务并设置一个环境变量:$ONE=1raketemp:both但是如何设置两个环境变量呢?这行不通:$ONE=1TWO=2raketemp:both这行得通,但读起来很困惑:$ONE=1raketemp:bothTWO=2如何在调用rake之前传递多个环境? 最佳答案 同意@Ernest;它应该工作。这是一个示例...示例rake任务以回显变量:task:echo_envdoputs"VAR1:#{ENV['VAR1']}"puts"VAR2:#{ENV['VAR2']}"end执行任务:VAR1=fir

ruby - 如何让 Ruby 每 10 分钟运行一次任务?

我想每10分钟执行一次cron作业,但我的系统只执行1小时。所以我正在寻找一种方法来做到这一点。我看过Timer和sleep但我不确定如何执行此操作,甚至不知道如何实现此操作。 最佳答案 看看http://rufus.rubyforge.org/rufus-scheduler/rufus-scheduler是一个用于调度代码片段(作业)的Rubygem。它了解在特定时间、在特定时间、每x次或仅通过CRON语句运行作业。rufus-scheduler不能替代cron/at,因为它在Ruby内部运行。

ruby-on-rails - "Private"Rake 任务与 Rails 环境

我知道我可以使用以下命令调用子任务列表并让每个子任务都利用我项目的Rails环境:task:main_task=>[:sub_task1,:sub_task2]doendtask:sub_task1=>:environmentdoModel1.some_class_methodendtask:sub_task2=>:environmentdoModel2.some_class_methodend我的问题是:main_task中是否有任何方法可以传递:environment,这样我就不必在每个子任务中显式地放置它?有没有办法让子任务被认为是“私有(private)的”?也就是说,我不希望

ruby-on-rails - 下载和解压缩 Rake 任务

我想每周更新一个城市表以反射(reflect)世界各地城市的变化。为此,我正在创建一个Rake任务。如果可能,我希望在不添加其他gem依赖项的情况下执行此操作。压缩文件是在geonames.org/15000cities.zip上公开可用的压缩文件.我的尝试:require'net/http'require'zip'namespace:geocitiesdodesc"RaketasktofetchGeocitiescitylistevery3days"task:fetchdouri=URI('http://download.geonames.org/export/dump/cities

ruby-on-rails - 如何在 Rake 任务中使用 asset_url 助手

如何在Rake任务中访问asset_url或asset_pathSprocketsURL助手?我有一个Rake任务,用一些模型为数据库播种。其中一个模型具有Rails应用程序中Assets的URL。如何在Rake任务中为该Assets创建URL?SomeModel.create(image:asset_url('awesome.png'))目前我对这个问题的解决方案真的很差。path=URI.join(Rails.application.routes.url_helpers.root_url,'/assets/images/awesome.png')SomeModel.create(i

ruby-on-rails - 如何在 Rails 中建模和存储重复性任务?

Rails中的Cron解决方案很多而且非常好。这不是我在这里挣扎的问题。相反,我遇到的麻烦是让用户创建他们自己的重复任务(如提醒)——特别是如何在数据库中建模和存储这些任务(一个好的UI也很重要——会很棒如果那里有代码)。谷歌日历在这里是一个很好的例子(添加事件的用户界面,而不是整个日历)......他们应该能够每天在CST下午1点,或周一/周三/周五,或每周等做。无论cron解决方案是什么然后需要轮询数据库以查看在那个时间需要发送哪些提醒,等等。有人在rails中看到过一个很好的插件/gem吗?似乎那里有一些东西,但我还没有找到它。谢谢! 最佳答案

软约束、硬约束、Minimum Snap的轨迹优化方法

文章目录前言约束硬约束的轨迹优化Corridor-BasedTrajectoryOptimizationBezierCurveOptimizationOtherOptions软约束的轨迹优化Distance-BasedTrajectoryOptimization优化方法前言可以看看我的这几篇Blog1,Blog2,Blog3。上次基于MinimumSnap的轨迹生成,有许多优点,比如:轨迹让机器人可以在某个时间点抵达某个航点。任何一个时刻,都能数学上求出期望的机器人的位置、速度、加速度、导数。MinimumSnap可以把问题转换为凸优化问题。缺点:MnimumSnap可以控制轨迹一定经过中间的

ruby-on-rails - 负载测试期间 Unicorn CPU 使用率激增,优化方法

我对为我的RubyonRails3.1.3应用优化我的Unicorn设置的方法很感兴趣。我目前正在高CPU超大实例上生成14个工作进程,因为我的应用程序在负载测试期间似乎受CPU限制。在模拟负载测试中,每秒大约20个请求重放请求,我的实例上的所有8个内核都达到峰值,盒子负载飙升至7-8个。每个unicorn实例使用大约56-60%的CPU。我很好奇可以通过哪些方式对其进行优化?我希望能够每秒将更多请求汇集到这种大小的实例上。内存和所有其他I/O一样完全正常。在我的测试过程中,CPU越来越低。 最佳答案 如果您受CPU限制,您希望使用